메뉴

#경량화 모델

MP
MarkTechPost 14일 전
IMP 8

노트북·스마트폰 구동 프리즘ML '분사이 27B' 공개

PrismML이 기존 Qwen3.6-27B 모델의 구조를 유지하면서도 가중치를 1.71비트 및 1비트로 경량화한 'Bonsai 27B'를 공개했습니다. 이를 통해 270억 개 매개변수(Parameters)를 가진 대규모 언어 모델을 노트북이나 스마트폰 같은 일상적인 기기에서 실행할 수 있게 되었습니다. Apache 2.0 라이선스로 공개되어 누구나 자유롭게 활용할 수 있다는 것이 특징입니다.

경량화 모델 양자화 오픈소스
MP
MarkTechPost 61일 전
IMP 6

리퀴드 AI, 128K 컨텍스트 지원 온디바이스 MoE 모델 공개

리퀴드 AI는 일반 소비자용 하드웨어에서도 구동 가능한 온디바이스용 MoE 모델인 LFM2.5-8B-A1B를 발표했습니다. 이 모델은 총 83억 개(8.3B)의 파라미터를 보유하고 있으면서도 연산 시 15억 개(1.5B)만 활성화하여 효율적인 추론을 자랑합니다. 최대 12만 8천(128K) 토큰의 긴 컨텍스트 처리와 고급 추론, 그리고 도구 호출(Tool calling) 기능을 지원하는 것이 특징입니다.

온디바이스 AI MoE 리퀴드 AI
LL
r/LocalLLaMA 104일 전
IMP 6

1비트 양자화 17억 파라미터 모델, 웹 브라우저에서 구동

290MB 크기의 초경량 1.7B(17억 파라미터) AI 모델이 WebGPU 기술을 통해 별도의 설치 없이 웹 브라우저 내에서 로컬로 실행됩니다. 사용자는 데모 링크를 통해 접속만으로도 개인 PC의 GPU 자원을 활용해 빠르게 AI를 체험할 수 있습니다. 이는 최신 웹 표준과 경량화 기술(1-bit 양자화)을 결합하여 클라이언트 사이드 AI의 접근성을 극대화했다는 점에서 의미가 있습니다.

WebGPU 로컬 AI 브라우저 AI
MP
MarkTechPost 113일 전
IMP 8

메타 AI, 1억 파라미터 미만 범용 비전 인코더 EUPE 공개

메타 AI가 1억 개 미만의 파라미터를 가진 소형 비전 인코더 패밀리인 EUPE를 공개했습니다. 이 모델은 이미지 이해, 밀집 예측(Dense Prediction), 시각 언어 모델(VLM) 작업 등 다양한 특수 분야 모델들과 필적하는 성능을 발휘하는 것이 특징입니다. 모바일 기기와 같은 엣지(Edge) 환경에서도 강력한 성능을 유지하면서 가벼운 크기를 실현한 것이 가장 큰 의의로 평가됩니다.

컴퓨터 비전 경량화 모델 메타 AI